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摘要 : [目的 /意义 ] 探 索 移 动 环境 下 App 应 用 效果 的 评价 方式 ,并 构建 英语 学 习 类 移动 App 评价 指标 体 
系 。[ 方 法 /过 程 ] 从 “内容 资 源 、 人 机 交互 .用 户 体验 ”3 个 维度 构建 英语 学 习 类 移动 App 的 评价 指标 体系 , 利 
用 层次 分 析 法 和 二 分 法 确定 指标 权重 ,以 8 个 具有 代表 性 的 英语 学 习 类 App 为 研究 对 象 进行 实证 研究 。[ 结 
果 / 结 论 ] 所 构建 的 移动 App 评价 指标 体系 具有 一 定 的 应 用 价值 ,能 够 有 效 地 对 App 进行 评价 。 通 过 对 App 评 
价 分 析 ,在 内 容 、 技 术 和 用 户 体验 效果 层面 为 App 开发 建设 提供 对 策 建议 。 
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评价 体系 


D9 附着 移动 互联 网 时 代 的 到 来 ,以 智能 手机 .平板 设 
第 汶 代表 的 移动 智能 终端 改变 了 人 们 日 常 学 习 和 生活 
的 济 式 上 ,App 即 为 互联 网 应 用 的 一 种 。 移 动 App 是 
基 氟 移动 智能 终端 的 第 三 方 应 用 程序 ,是 信息 .知识 获 
取 航 有 效 途径 。 中 国 互联 网 络 信息 中 心 ( CNNIC) 发 布 
的 需 39 次 (中国 互联 网 络 发 展 状况 统计 报告 》 显 示 , 截 
至 016 年 12 月 ,我 国 网 民 规模 达 7.31 亿 , 互 联网 普 
及 雍 达 到 53.2% ,超过 全 球 平均 水 平 3. 1% ,其 中 手机 
网 民 规 模 达 6. 95 亿 , 占 比 达 95.1% "i。 与 此 同时 ， 
App 数量 也 在 大 幅 激 增 ,相关 数据 显示 苹果 的 App 
Store 中 教育 类 App 已 成 为 仅 次 于 游戏 的 第 二 大 应 用 
类 别 " 。 在 教育 领域 ,移动 App 的 便携 性 与 移动 化 . 智 
能 化 与 个 性 化 趣味 性 强 .互动 性 高 等 特征 表现 尤为 突 
出 。App 数量 和 种 类 繁多 ,快速 高效、 便捷 和 以 
“用 户 需求 为 导向 ”的 教育 类 App 的 开发 .推广 和 应 用 
成 为 亟待 解决 的 问题 。 

随 着 多 元 化 和 全 球 化 的 发 展 ,英语 作为 联系 世界 
各 国 的 一 门 语言 ,其 作用 愈加 突出 。 在 教育 领域 ,更 加 
强调 英语 教育 的 重要 性 ,而 传统 的 教学 模式 已 经 无 法 


满足 学 生 的 信息 获取 需求 ,移动 App 使 英语 学 习 和 信 
息 技 术 紧 密 融 合 , 突破 了 现 有 的 学 习 模 式 和 学 习 资 源 
的 限制 ,有 利于 自主 化 .个 性 化 学 习 , 英 语 语言 学 习 类 
App 成 为 了 大 量 用 户 的 选择 。 对 英语 类 App 的 评价 研 
究 , 有 助 于 开发 优质 的 英语 学 习 App ,也 为 用 户 选 择 
App 提供 合适 的 建议 ,探索 有 效 的 英语 学 习 路 径 。 

虽然 近年 来 ,移动 App 应 用 日 益 受 到 国内 外 学 者 
的 关注 。 但 从 目前 国内 外 学 者 的 研究 成 果 来 看 ,国外 
学 者 对 移动 学 习 类 App 的 研究 主要 集中 在 App 的 开 
发 和 利用 .影响 因素 和 可 用 性 研究 方面 ,国内 学 者 的 研 
究 主 要 集中 在 移动 学 习 App 的 设计 开发 、 移 动 学 习 
App 与 课程 结合 的 应 用 研究 等 方面 ,关于 移动 学 习 
App 评价 的 研究 相对 较 少 。 这 是 目前 移动 App 领域 用 
户 所 关注 的 主要 问题 。 当 今 移动 环境 下 ,各 种 类 型 
App 层出不穷 ,同一 类 型 App 数量 庞大 ,App 的 迅速 普 
及 给 大 众生 活 、 工 作 和 学 习 等 方面 带 来 了 极 大 的 便利 ， 
也 给 企业 机 构 提 供 了 具有 广阔 前 景 的 营销 渠道 。 但 是 
用 户 是 否 能 如 愿 利用 App 获得 他 们 所 需要 的 信息 资源 
或 者 服务 ? 面 对 众 多 种 类 的 App ,用 户 究 竟 该 如 何 选 
择 适 合 自己 的 App? 开发 商 和 运营 商 该 如 何 设计 、 开 
发 和 运营 App 来 迎合 用 户 需 求 ? App 的 发 展 已 成 为 用 
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户 、App 开发 商 和 运营 商 咀 待 解决 的 问题 ,对 App 系统 
应 用 效果 进行 有 效 的 评价 ,有 助 于 有 效 解决 上 述 问题 ， 


App 评价 的 研究 的 关注 点 比较 广泛 ,针对 学 习 类 App 
的 评价 研究 有 一 定 的 实用 性 。 笔 者 基于 前 人 的 研究 ， 


使 其 为 用 户 提 供 优 质 的 信息 内 容 和 便利 的 获取 方式 ， 
同时 提高 用 户 对 App 使 用 的 满意 度 。 


2 相关 研究 


2.1 移动 学 习 类 App 

国外 学 者 E，S，Georgieva 等 人 从 技术 可 行 性 、 教 
学 效率 、 成 本 效益 ,用户 友好 性 、 设 备 、 使 用 的 课件 和 评 
论 等 方面 评估 了 保加利亚 鲁 塞 大 学 开发 的 FLAGMAN 
移动 学 习 应 用 系统 ”。N. Pindeh 等 人 从 感知 有 用 性 、 
感知 易 用 性 、 内 容 丰富 性 .用 户 满意 度 和 感知 的 娱乐 性 
等 方面 探讨 了 Kadazandusun 语言 App 的 影响 因素 。 
Rs-G，Shih 等 人 将 移动 学 习 融入 英语 拼写 课程 的 混合 
教学 方法 ,分 析 LINE App 英语 拼写 学 习 体 验 的 效果 ， 
评估 学 习 者 使 用 智能 手机 App 学 习 的 有 效 性 ”) 。 权 锋 
基 罗 用 户 需求 视角 调查 了 用 户 移动 学 习 的 内 容 、 时 长 、 
声 昌 .终端 ,购买 习惯 等 信息 ,对 大 学 生 使 用 英语 移动 
举动 App 的 行为 进行 研究 ,为 出 版 社 提供 大 学 英语 类 
移动 应 用 开发 策略 "" 。 李 利 杰 通 过 分 析 影响 智能 移 
动 溃 备 使 用 意图 和 制约 移动 学 习 的 相关 因素 ,提出 了 
移动 学 习 融 入 高 职 课程 教学 的 整合 策略 ,包括 传统 孝 
学 导 App 学 习 相 结合 的 混合 教学 模式 "1 。 李 武 , 赵 星 
构建 了 用 户 社会 化 阅读 App 持续 使 用 意愿 的 概念 模 
型 % 分 析 了 期 望 确认 程度 ,满意 度 ,阅读 有 用 性 认 知 、 主 
观 疯 范 等 变量 对 社会 化 阅读 App 持续 使 用 意愿 的 影 
响 到 。 
2 人 0 移动 App 评价 

在 评价 研究 方面 ,国外 的 一 些 机 构 和 研究 人 员 针 
对 App 提出 了 部 分 评价 模型 和 量 表 。 如 芝加哥 公立 学 
校 图 书馆 部 门 的 “Mobilary” 项 目 组 在 2011 年 基于 对 学 
习 的 支持 `. 易 用 性 和 质量 3 个 方面 设计 了 iPad App 评 
价 量 表 来 评估 iPad 上 的 App 对 其 学 校 图 书馆 的 适用 
性 后 。M. A. Vilar 以 e-Learning 为 基础 ,从 内 容 、 个 
性 化 、 反 馈 高 阶 思维 能 力 . 易 用 性 和 技术 性 能 、 交 互 性 
和 沉浸 性 以 及 社会 交互 7 个 方面 建立 移动 学 习 App 评 
价 指标 “; 。 国 内 学 者 张 苏 音 等 从 用 户 对 数据 库 出 版 
商 移动 App 评分 情况 和 评论 内 容 所 涉及 的 有 用 性 、 内 
容 深度 功能 设计 的 合理 性 .价格 合理 性 、 易 用 性 、 可 用 
性 .用 户 体验 .内 容 模 抉 的 合理 性 .内 容 的 正确 性 等 方 
面 进行 用 户 分 析 , 评 价 用 户 对 目前 数据 库 商 App 的 满 
意 度 "。 


从 以 上 相关 研究 可 以 看 出 ,近年 来 学 者 对 移动 
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尝试 进一步 对 国内 移动 App 进行 深入 评价 和 实证 研 
究 , 回 答 以 下 3 个 问题 :中 移动 环境 下 如 何 选择 合适 的 
App 更 好 地 进行 学 习 ? @ 如 何 构建 移动 环境 下 App 的 
评价 指标 体系 ? @ 所 构建 的 评价 指标 体系 对 App 的 开 
发 和 应 用 是 否 具有 一 定 的 指导 意义 ?本 研究 运用 层次 
分 析 方 法 ,从 内 容 资源 、 人 机 交互 和 用 户 体验 3 个 方面 
构建 移动 App 评价 指标 体系 ,结合 典型 的 英语 学 习 类 
App 进行 实证 分 析 。 本 研究 为 满足 用 户 需 求 的 教育 类 
App 的 设计 、 开 发 和 应 用 提供 相关 的 建议 ,可 以 实现 移 
动 学 习 资 源 的 有 效 利 用 ,从 而 对 我 国教 育 发 展 有 一 定 
的 实践 参考 价值 。 

3 研究 设计 
3.1 评价 指标 体系 的 构建 

系统 评价 理论 将 评价 对 象 作为 一 个 系统 来 分 析 ， 

根据 预定 目标 ,运用 系统 评价 方法 ,评价 系统 效果 ,从 
而 选择 最 优 方案 。App 是 一 个 多 层次 和 多 因素 的 
系统 ,App 评价 体系 作为 评价 系统 ,具有 结构 层次 化 、 
指标 多 样 化 的 特点 。 总 体 来 说 ,目前 尚 缺少 针对 移动 
语言 学 习 类 App 的 专门 的 标准 化 的 评价 方法 ,笔者 所 
建立 的 指标 体系 主要 采用 德尔 菲 法 ,根据 移动 应 用 程 
序 用 户 行为 特点 ,在 国内 外 部 分 机 构 和 学 者 所 设计 的 
App 评价 量 表 和 现 有 的 App 评价 相关 文献 ,并 且 参 考 
一 些 具 有 代表 性 的 移动 学 习 资 源 、 网 络 教育 服务 和 学 
习 网 站 等 评价 指标 体系 的 基础 上 ,通过 对 相关 领域 专 
家 学 者 移动 应 用 程序 研发 和 运行 维护 人 员 以 及 经 常 
使 用 英语 学 习 类 App 的 高 校 学 生 等 进行 访谈 ,整合 其 
观点 并 进行 优化 ,确定 若干 评价 指标 。 以 提供 优质 的 
内 容 资源 为 目标 的 App 服务 是 一 个 复杂 的 过 程 ,这 也 
是 人 与 系统 交互 的 过 程 , 而 用 户 体验 体现 了 交互 的 结 
果 , 所 以 笔者 基于 系统 评价 的 视角 ,从 移动 学 习 资 源 、 
App 本 身 设计 开发 情况 和 用 户 3 个 方面 ,构建 移动 英 
语 学 习 类 App 评价 指标 体系 ,包括 3 个 一 级 指标 , 即 内 
容 资源 、 人 机 交互 和 用 户 体验 。 一 级 指标 下 设 13 个 二 
级 指标 和 29 个 三 级 指标 ,并 尽量 细 化 各 级 指标 ,突出 
关键 指标 , 见 表 1。 
3.2 ”指标 分 析 
3.2.1 内 容 资 源 ”内 容 资源 是 指 App 为 用 户 提供 的 
移动 学 习 资 源 ,其 主要 表现 在 对 学 习 者 需求 的 满足 程 
度 “ ,是 App 被 用 户 接受 并 长 久 使 用 的 首要 因素 。 
内 外 学 者 不 论 是 对 网 站 还 是 App 的 研究 都 纷纷 考虑 到 
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表 1 移动 英语 学 习 类 App 的 评价 指标 


一 级 指标 二 级 指标 三 级 指标 说 明 
内 容 资源 Al 准确 性 B1 拼写 语法 Cl 内 容 准 确 无 误 
口语 发 音 C2 符合 正确 的 发 音标 准 
可 靠 性 B2 学 习 资源 的 可 靠 性 C3 提供 的 学 习 资源 来 源 可 靠 ,符合 权威 教学 标准 和 考试 标准 
ee C4 对 问题 的 解答 正确 可 信 
全 面 性 B3 内 容 宽度 提供 适合 不 同人 群 的 学 习 资源 ,信息 丰富 
内 容 深度 C6 针对 各 项 内 容 提供 不 同 层次 的 学 习 资源 
资源 链接 C7 提供 大 量 相关 学 习 资源 进行 拓展 
相关 性 B4 内 容 与 主题 C8 App 提供 的 内 容 资源 与 主题 密切 相关 
课程 与 教学 C9 所 推荐 课程 与 教学 内 容 密切 联 系 
时 效 性 B5 更 新 速度 C10 App 平台 提供 内 容 的 更 新 频率 较 快 
更 新 质量 Cl 符合 用 户 需求 并 对 学 习 者 有 帮助 的 最 新 的 内 容 信息 
新 颖 性 B6 内 容 独特 性 C12 App 自身 的 特色 内 容 
形式 多 样 化 C13 对 于 图 文 音频 .视频 等 多 媒体 的 应 用 
人 机 交互 A2 易 用 性 B7 检索 功能 C14 检索 所 需要 查询 的 内 容 方便 实用 
= 操作 难 易 度 C15 App 操作 简单 易学 
> 兼容 性 C16 程序 天 小 .版 本 ,安装 顺畅 , 自 适应 屏幕 大 小 
《CO 响应 速度 C17 页 面 切换 方便 .链接 速度 足够 快 
了 界面 友好 性 B8 导航 菜单 C18 App 导航 清晰 合理 
加 界面 设计 C19 界面 效果 美观 舒适 
二 适应 性 B9 个 性 定制 C20 针对 不 同学 习 者 提供 所 需 的 学 习 资源 ,并 按 其 偏好 个 性 化 定制 
¢ 测评 反馈 C21 通过 测评 结果 调整 学 习 内 容 难度 
Co 可 获取 性 B10 适应 条 件 C22 适应 不 同 环境 需要 ,包括 离线 能 力 
地 资源 价格 C23 资源 能 够 免费 获得 
CI 保障 性 B11 安全 性 C24 保障 个 人 信息 安全 
Cy 投诉 机 制 C25 有 专门 的 帮助 设置 和 投诉 机 制 
CN 参与 性 B12 用 户 与 用 户 的 交流 C26 App 的 学 习 者 之 间 可 以 方便 地 交流 和 共享 
~> j 户 对 平台 的 反馈 C27 j 户 可 以 随时 向 平台 反馈 使 用 情况 或 提出 建议 
ac 一 满意 度 B13 j 户 期 望 C28 能 够 获得 预期 查找 的 资料 .实现 预期 目标 
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管内 容 这 一 因素 ,国内 学 者 白银 等 从 内 容 准确 性 、 主 
题 箱 关 性 .全面 性 .时 效 性 等 方面 总 结 国内 教育 网 站 内 
容 鱼 价 "" ; 罗 春 荣 、 曹 树 金 认为 可 从 实用 性 .全面 性 、 
准确 性 .权威 性 新颖 性 ,独特 性 诸 方面 评价 因特网 信 
息 资源 ; 查 先进 、 陈 明 红 提 出 从 正确 性 、 完 整 性 .相关 
性 新颖 性 评价 网 络 信息 资源 ; 国外 学 者 A，G，Smith 
提出 从 内 容 的 准确 性 .权威 性 .时效 性 ,独特 性 .与 其 他 
资源 的 链接 等 方面 评价 网 络 信息 5"] 。 综 观 上 述 学 者 


HH 


户 对 App 的 评 


= 


价 


的 有 效 方式 ”” 。 用 户 在 使 用 App 过 程 中 ,以 一 定 交 
互 方式 使 App 实现 用 户 操作 要 求 和 目的 ,是 体现 App 
的 可 用 性 及 用 户 对 App 性 能 和 服务 满意 度 的 一 项 重要 
指标 。 国内 的 网 络 教育 服务 质量 管理 体系 规范 
( CELTS -24) 制 定 的 网 络 教育 服务 质量 评价 包括 完整 
性 ` 安 全 性 .投诉 机 制 在 内 的 保障 性 和 包括 易 用 性 、 个 
性 化 服务 、 舒 适 性 等 在 内 的 关怀 性 指标 ;著名 的 网 
络 教 学 平台 评估 网 站 Edutools 在 系统 技术 性 指标 中 提 


的 评价 指标 ,结合 本 文 研 究 的 对 象 , 认 为 内 容 资 源 指标 
包括 6 个 二 级 指标 , 即 准 确 性 可靠 性 .全面 性 `. 相 关 
性 .时效 性 和 新 颖 性 。 准 确 性 要 求 App 提供 的 学 习 资 
源 准确 无 误 ; 可 靠 性 要 求 内 容 规 范 ,具有 教学 价值 ,可 
以 信赖; 全 面 性 是 对 内 容 宽 度 和 深度 方面 的 要 求 ,信息 
量 尽 可 能 丰富 ;相关 性 要 求 App 提供 的 内 容 和 推荐 的 
课程 与 App 主题 密切 相关 ;时 效 性 检验 内 容 更 新 速度 
和 质量 ;新 颖 性 要 求 内 容 独特 ,形式 多 样 。 

3.2.2 人 机 交互 ”人 机 交互 是 联系 用 户 和 内 容 信 息 


on 


出 了 兼容 性 ,安全 性 等 标准 ;教学 设计 师 M. A. Vil- 
lar 综合 eLearning 教学 经 验 提出 的 评估 移动 学 习 App 
评价 量 表 中 包括 个 性 化 ` 反 馈 、 易 用 性 和 技术 性 能 、 交 
互 性 等 7 项 指标 ; 程 星 等 在 其 构建 的 移动 学 习 资 源 评 
价 模型 中 提出 了 人 机 交互 这 一 指标 ” 。 因 此 ,笔者 认 
为 人 机 交互 指标 包括 5 个 二 级 指标 , 即 易 用 性 、 界 面 友 
好 性 .适应 性 .可 获取 性 和 保障 性 。 易 用 性 要 求 App 操 
作 比 较 简单 ,响应 速度 较 快 ,容易 使 用 ;界面 友好 性 要 
求 界面 设计 美观 ,导航 菜单 清晰 合理 ,用 户 可 以 愉悦 使 
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用 ;适应 性 强调 系统 针对 不 同 用 户 的 个 性 化 定制 ;可 获 
取 性 是 App 使 用 条 件 的 要 求 ,资源 获取 的 便利 程度 ; 保 
障 性 要 求 App 具有 足够 的 安全 性 ,保护 用 户 个 人 信息 ， 
是 令 用 户 对 其 信任 的 保证 。 

3.2.3 用户 体 验 ” 用 户 体验 是 用 户 之 间或 用 户 与 系 
统 之 间 交互 产生 的 结果 ,是 用 户 使 用 App 的 一 种 主观 
感受 。 用 户 体验 是 了 解 用 户 需求 .持续 改进 App 
的 重要 指标 。 黄 炜 等 在 研究 移动 网 络 下 的 App 评价 指 
标 时 提出 了 应 用 平台 ,用户 体验 .可视化 前 台 、 网 络 后 
台 4 个 一 级 指标 ,研究 结果 表明 App 本 身 的 用 户 体验 
及 功能 对 App 质量 产生 重要 影响 “) 。 范 佳 佳 等 在 对 
网 站 评价 标准 总 结 中 提出 了 用 户 满意 度 是 反映 系统 服 
务 情况 与 用 户 感知 的 重要 标准 。 笔 者 认为 用 户 体 
验 指标 包括 2 个 二 级 指标 , 即 参与 性 和 满意 度 。 参 与 
性 答 括 用 户 与 用 户 间 的 交流 .用户 对 平台 的 反馈 ,反映 
用 卢 和 App 在 使 用 过 程 中 的 参与 互动 程度 ;满意 度 体 
更 净 App 对 用 户 期 望 的 满足 程度 和 使 用 后 用 户 对 其 的 


4 ”实证 分 析 


4 


lL 


CNJ 样本 选择 

C ) 为 检验 所 构建 的 移动 英语 学 习 类 App 评价 指标 体 
系 的 科学 合理 性 和 应 用 价值 ,笔者 选择 了 8 个 英语 学 
习 Rpp 作为 研究 对 象 ,具体 见 表 2。 选 择 这 8 个 英语 
学 App 的 原因 具体 如 下 :WD 这 些 App 在 App Store 中 
下 载 量 相 对 较 大 ,使 用 人 数 较 多 ;@@ 中 商情 报 网 吕 近 
几 牌 教育 类 外 语 学 习 App 排行 榜 数 据 显示 ,这 些 App 


排 舍 相 对 靠 前 。 
表 2 移动 英语 学 习 App 
序号 词典 工具 类 App 序号 听力 口语 类 App 
1 百 词 斩 5 英语 流利 说 
2 有 道 词典 6 有 道口 语 大 师 
3 肩 贝 单词 了 扇贝 听力 
4 知 米 背 单词 8 每 日 英语 听力 


4.2 指标 权重 的 确定 

借助 层次 分 析 法 对 评价 指标 进行 权重 计算 ,以 实 
现 评 价 体系 从 定性 到 定量 的 转变 ,具体 评价 指标 权重 
4.2.1 构建 判断 矩阵 采用 专家 赋值 法 ,使 用 T. 工 . 
Saaty 教授 的 标 度 表 ( 见 表 3 ) ,其 计 分 标 度 分 为 1 -9 
级 。 比 较 各 因素 的 相对 重要 性 ,构造 判断 矩阵 ,分 别 为 
P-An Al -Bn 、A2 -Bn、 A3 -Bn Bl1 -Cn 、B2 -Cn、B3 -Cn 、B4 - 
Cn 、B5 -Cn B6 -Cn 、B7 -Cn 、B8 -Cn 、B9 -Cn 、B10 -Cn 、B1l1 - 
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Cn、B12-Cn、B13 -Cn。 
表 3 1 -9 标 度 的 含义 


标 度 含义 


i 因素 同等 重要 


因 
9 素 比 j 因素 稍微 重要 
j 
因 


因素 重要 
j 因素 明显 重要 
比 j 因素 绝对 重要 
24.68 上 述 两 相 邻 判 断 的 中 值 


六 于 -. 团 材 
淡 洲 了 团 济济 
测 
全 
CN 


4.2.2 计算 权重 为 计算 简便 且 能 保证 足够 的 精度 ， 
运用 和 积 法 计算 最 大 特征 根 Nmax 及 其 对 应 的 特征 向 
量 w, 依 次 计算 出 各 层 指标 权重 。 以 判断 矩阵 Al -Bn 
为 例 来 求 权 重 向 量 w, 如 表 4 所 示 。 

表 4 Al-Bn 判断 矩阵 权重 计算 示例 


Bl B2 BB3 B4  B5 B6 ”几何 平均 值 权重 w 


Bl 1 2 6 3 4 5 2.993 8 0.373 9 
B2 1/2 1 5 2 3 4 1.978 6 0.247 1 
B3 16 1/5 1 1/5 1/3 1/2 0.3218 0.040 2 
B4 1/3 12 5 1 3 4 1.467 8 0.183 3 
B5 1/4 13 3 13 1 3 0.7937 0.099 1 
B6 1/5 1/4 2 1/4 13 1 0.450 3 0.056 2 
5 8.006 1 


4.2.3 一 致 性 检验 由 于 判断 矩阵 各 因素 是 根据 经 
验 得 到 的 ,为 保证 其 准确 性 ,需要 进行 一 致 性 检验 ,一 
致 性 指标 CI = (Amax-n)A(n-1) ,BRI 为 随机 一 致 性 指 
标 ,T. L，Saaty 给 出 了 具体 的 对 应 值 。 一 致 性 比率 CR 
=CIARI,CR <0.1 即 为 通过 一 致 性 检验 。 最 终 各 层 评 
价 指标 权重 见 表 5。 
4.3 评价 过 程 

为 对 移动 App 进行 有 效 评 价 ,本 研究 选取 12 位 相 
关 专 家 进行 调查 ,专家 包括 高 校 新 媒体 研究 专家 4 位 ， 
高 校 黄 语 教师 4 位 ,高 校 博士 研究 生 4 位 ,由 他 们 来 填 
写 问卷 。 问 卷 采 用 李 克 特 五 级 量 表 形 式 ,“ 差 “ 较 差 ” 
“一 般 ”“ 良 好 ”优秀 ”5 种 回答 所 对 应 的 分 数 分 别 计 
为 123.4,.5 分 。 评 价 过 程 中 尽 可 能 确保 测评 者 不 受 
外 界 其 他 因素 干扰 ,保证 评价 结果 的 有 效 性 。 综 合 各 
测评 者 评分 和 各 指标 权重 进行 计算 , 求 测评 者 分 数 的 
平均 值 ,最 后 得 出 8 个 移动 英语 学 习 App 的 最 终 得 分 ， 
见 表 6。 
4.4 评价 结果 
4.4.1 一 级 指标 评价 结果 分 析 对 于 所 构建 的 移动 
英语 学 习 App 评价 体系 中 的 “内 容 资源 、 人 机 交互 和 
用 户 体验 ”3 个 一 级 指标 , 内 容 资 源 所 占 权 重 最 大 
(0.558 4) 。 在 内 容 资源 指标 方面 ,词典 工具 类 英语 App 


人 
LninaxIV 互 
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表 5 指标 权重 汇总 


一 级 指标 二 级 指标 权重 三 级 指标 权重 
内 容 资源 Al 0.558 4 准确 性 Bl 0.373 9 拼写 语法 Cl 0.5000 
口语 发 音 C2 0.5000 
可 靠 性 B2 0.247 1 学 习 资 源 的 可 靠 性 C3 0.666 7 
解答 问题 的 可 靠 性 C4 0.333 3 
全 面 性 B3 0.040 2 内 容 宽 度 C5 0.539 6 
内 容 深 度 C6 0.163 4 
资源 链接 C7 0.297 0 
相关 性 B4 0.183 3 内 容 与 主题 C8 0.750 0 
课程 与 教学 C9 0.250 0 
时 效 性 B5 0.099 1 更 新 速度 C10 0.6667 
更 新 质量 C11 0.333 3 
新 颖 性 B6 0.056 2 内 容 独 特性 C12 0.6667 
形式 多 样 化 C13 0.333 3 
人 机 交互 A2 0.3196 易 用 性 B7 0.443 9 检索 功能 C14 0.324 8 
操作 难 易 度 C15 0.459 4 
兼容 性 C16 0.066 7 
响应 速度 C17 0.149 1 
界面 友好 性 B8 0.192 8 导航 菜单 C18 0.333 3 
界面 设计 C19 0.666 7 
适应 性 B9 0.229 6 个 性 定制 C20 0.750 0 
测评 反馈 C21 0.250 0 
可 获取 性 B10 0.046 7 适应 条 件 C22 0.7500 
资源 价格 C23 0.250 0 
保障 性 B11 0.0870 安全 性 C24 0.833 3 
投诉 机 制 C25 0.1667 
用 户 体验 A3 0.1220 参与 性 B12 0.333 3 用 户 与 用 户 的 交流 C26 0.7500 
用 户 对 平台 的 反馈 C27 0.250 0 
满意 度 B13 0.6667 户 期 望 C28 0.8000 
应 用 评级 C29 0.2000 


表 6 8 个 移动 英语 学 习 类 App 样本 的 得 分 结果 


App 。 WE E i 。 i 
百 词 斩 有 道 词典 肩 贝 单词 知 米 背 单词 ”英语 流利 说 ”有 道口 语 大 师 。 扇贝 听力 每 日 英语 听力 
准确 性 1.729 3 1.682 6 1.635 8 1.635 8 1.822 8 1.729 3 1.682 6 1.635 8 
可 靠 性 1.0708 0.967 8 1.050 2 1.029 6 1.112 0 1.050 2 1.009 0 0.947 2 
全 面 性 0.1168 0. 152 4 0.124 1 0.124 1 0.186 3 0.1910 0.130 1 0. 196 4 
相关 性 0.847 8 0.882 1 0.8707 0.893 6 0.836 3 0.779 0 0.893 6 0.905 0 
时 效 性 0.388 1 0.454 2 0.289 0 0.355 1 0.454 2 0.338 6 0.272 5 0.388 1 
新 疾 性 0.1545 0.206 1 0.126 5 0. 168 6 0.229 5 0.243 5 0.131 1 0.220 1 
权 2.405 2 1.933 8 2.287 4 2.349 1 2.5916 2.418 8 2.3000 2.397 0 
人 机 交互 易 用 性 2.0604 2.0815 2.0457 2.030 8 1.8864 1.9162 1.793 1 1.952 3 
界面 友好 性 0.8676 0.931 9 0.739 1 0.899 7 0.9319 0.803 3 0.739 1 0.803 3 
适应 性 1.119 3 0.430 5 1.090 6 1.018 9 0.8610 0.875 4 0.8610 0.660 1 
可 获取 性 0.218 9 0.207 2 0.195 6 0.172 2 0.128 4 0.116 8 0.125 5 0.1518 
保障 性 0.344 4 0.373 4 0.340 8 0.340 8 0.369 8 0.322 6 0.322 6 0.348 0 
加 权 1.473 5 1.286 2 1.410 0 1.426 2 1.335 1 1.289 4 1,.2277 1.251 4 
户 体验 参与 性 1.33 1.166 6 1.583 2 1.437 4 1.395 7 1.062 4 1.499 9 1.1666 
满意 度 3.0335 2.900 1 3.100 2 2.733 2.733 5 2.433 5 2.300 1 2.1001 
加 权 0.5323 0.4957 0.5709 0.508 4 0.5033 0.426 2 0.463 2 0.398 2 
最 终 得 分 4.4110 3.715 7 4.268 3 4.283 7 4.430 0 4.134 4 3.990 9 4.046 6 


77 


图 二 情报 三 作 


第 62 卷 第 9 期 2018 年 5 月 


ChinaXiv 合 作 期 刊 


获得 的 分 数 平均 值 (2. 243 9 ) 略 低 于 听力 口语 类 英语 
App(2.426 9) ,单词 内 容 相 对 单调 ,听力 口语 类 App 学 


并 对 用 户 的 测评 及 时 反馈 ,合理 地 调整 学 习 内 容 的 难 
度 。 在 可 获取 性 方面 ,词典 工具 类 英语 App 适应 条 件 


习 资源 更 加 丰富 ,形式 也 更 加 多 样 化 ;在 人 机 交互 指标 
方面 ,词典 工具 类 英语 App 获得 的 分 数 平均 值 
(1.399 0) 略 高 于 听力 口语 类 英语 App (1.275 9) , 词 
典 工具 类 英语 App 界面 更 加 清晰 ,而 且 通 常 有 离线 词 
库 , 不 受 网 络 条 件 限 制 查阅 和 记忆 单词 ,内 存 占用 量 也 
较 小 ,而 听力 口语 类 大 多 需要 在 线 使 用 ;在 用 户 体验 指 
标 方面 ,词典 工具 类 英语 App 获得 的 分 数 平均 值 
(0.526 8) 略 高 于 听力 口语 英语 类 App(0.447 7) , 相 
比 听力 口语 ,单词 的 碎片 化 记忆 效果 是 更 加 明显 的 ,而 
听力 口语 则 需要 大 量 的 时 间 和 不 断 的 练习 才能 够 取得 
显著 提高 ,因而 用 户 普遍 对 词典 工具 类 英语 App 满意 
谭 更 高 。 

由 此 可 以 看 出 内 容 资源 的 重要 性 ,对 于 任何 一 款 
App= 而 言 ,内 容 资源 都 是 App 用 户 最 先 关 注 的 ,是 能 够 
戎 从 用 户 长 期 使 用 的 重要 因素 ,内 容 优 劣 会 严重 影响 
用 各 粘性 和 稳定 性 。 因 此 ,App 尤其 需要 注重 其 内 容 
资源 的 准确 真实 性 和 科学 权威 性 ,同时 力求 内 容 更 加 
准确 丰富 .系统 和 全 面 , 尽 可 能 提供 具有 独特 性 和 个 性 
做 的 内 容 。 当 然 ,也 不 能 忽视 App 的 人 机 交互 性 ,人 机 
效 国 效果 直接 影响 用 户 体验 效果 ,而 具有 良好 的 用 户 


不 大 苛刻 ,离线 能 力 较 强 ,而 听力 口语 类 英语 App 大 多 
需要 在 线 使 用 。 从 用 户 体 验 下 设 的 参与 性 和 满意 度 2 
个 二 级 指标 来 看 ,在 参与 互动 方面 ,大 部 分 App 在 用 户 
与 用 户 的 交流 共享 用户 对 平台 的 反馈 方面 是 较 好 的 。 
在 用 户 期 望 方面 ,词典 工具 类 英语 App 较 能 满足 用 户 
的 需求 和 期 望 ,用 户 可 以 利用 零碎 时 间 实 现 单词 记忆 
的 目标 ,获得 较为 明显 的 效果 。 

在 内 容 资源 方面 ,对 于 各 类 App 而 言 ,内 容 资源 都 
是 App 吸引 用 户 的 首要 因素 ,在 教育 类 App 上 体现 的 
尤为 突出 。 保 证 内 容 准 确 可 靠 是 App 建设 的 最 基本 要 
求 ,在 此 基础 上 尽 可 能 丰富 内 容 ,使 其 全 面 , 新 颖 、 富 有 
时 效 。 应 该 考虑 到 不 同 群 体 的 特点 和 资源 需求 等 ,分 
析 其 实际 诉求 ,进而 有 针对 性 地 为 不 同 群 体 提供 服务 。 

在 人 机 交互 方面 ,App 的 系统 架构 会 直接 影响 用 
户 的 体验 效果 。App 的 易 用 性 和 界面 友好 性 直接 影响 
昌 户 的 直观 感受 ,良好 的 适应 性 、 易 于 获取 和 可 靠 的 安 
全 保障 则 能 影响 用 户 的 满意 度 和 信任 度 , 所 以 App 界 
面 和 功能 的 开发 设计 一 定 要 美观 与 实用 ,最 大 程度 满 
足 用 户 各 种 使 用 需求 和 各 种 条 件 下 的 利用 ,为 用 户 的 
使 用 提供 足够 的 保障 。 应 用 中 的 内 退 现象 有 时 登录 


和 


体 驶 才 是 App 市 场 上 的 核心 竞争 力 。 因 此 应 该 更 着 重 
十 用 户 需 求 , 保 证 产品 的 易 用 性 和 有 用 性 ,同时 加 强 
洲 的 创新 性 ,只 有 在 技术 上 有 所 创新 和 提高 ,才能 达 
到 cpp 易于 获取 和 使 用 .界面 友好 、 适 应 性 强 等 要 求 ， 
从 面 增强 用 户 的 体验 效果 ,增加 用 户 参与 度 和 活跃 度 ， 
便 CSp 能 够 获得 用 户 的 青睐 和 长 足 的 发 展 。 
4.4.2 二 级 指标 评价 结果 分 析 “从 内 容 资源 下 设 的 
准确 性 ,可 靠 性 ,全 面 性 .相关 性 、 时 效 性 和 新 颖 性 6 个 
二 级 指标 来 看 ,准确 性 可靠 性 .相关 性 指标 的 评分 相 
差 不 大 。 在 全 面 性 方面 ,听力 口语 类 App 相对 较 好 ,内 
容 覆 盖 面 较 广 , 提 供 了 演讲 视频 ,电影 ,旅游 攻略 等 次 
源 ,信息 量 更 丰富 。 在 新 颖 性 方面 ,听力 口语 类 英语 
App 内 容 更 有 特色 ,形式 更 为 丰富 。 因 而 ,词典 工具 类 
英语 App 内 容 资源 首先 需要 从 学 习 者 自身 认 知 和 需要 
角度 考虑 ,根据 学 习 者 的 学 习 状况 和 学 习 能 力 进行 适 
当 调整 ,并 利用 声 频 、 视 频 、 动 画 等 配合 学 习 内 容 。 从 
人 机 交互 下 设 的 易 用 性 、 界 面 友好 性 、 适 应 性 ,可 获取 
性 和 保障 性 5 个 二 级 指标 来 看 , 易 用 性 和 界面 友好 性 
普遍 比 较 好 。 在 适应 性 方面 ,词典 工具 类 英语 App 个 
性 化 定制 和 测评 反馈 更 佳 ,App 一 般 都 会 根据 考研 四 
六 级 等 需要 对 不 同 用 户 制定 专门 的 词 库 和 训练 计划 ， 
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较 缓 慢 或 者 使 用 不 流畅 的 状况 ,需要 注册 登陆 或 者 账 
号 绑 定 等 比较 繁琐 而 且 很 可 能 存在 安全 性 问题 的 程 
序 ,都 会 直接 影响 用 户 的 使 用 热情 。 对 于 应 用 程序 的 
自身 漏洞 则 需要 开发 者 在 技术 方面 进一步 提高 ,在 保 
证 技术 水 平 上 有 所 创新 。App 提供 的 一 部 分 资源 是 需 
要 收费 的 ,在 目前 大 部 分 人 对 付费 比较 排斥 的 情况 下 ， 
保证 内 容 资源 的 新 颖 性 、 独 特性 和 较 高 的 质量 水 平 才 
是 支撑 用 户 对 其 付费 的 首要 因素 ,同时 营销 商 要 认真 
考察 以 规定 最 合理 的 定价 ;广告 植 人 向 来 是 用 户 不 太 
喜欢 的 ,这 就 需要 考虑 广告 的 投放 数量 和 频率 ,在 保证 
稳定 用 户 量 的 情况 下 追求 利益 最 大 化 ,App 营销 商 一 
定 要 针对 上 述 问题 在 营销 策略 等 方面 进行 适当 考量 和 
调整 。 

在 用 户 体验 方面 ,用 户 体验 是 衡量 各 种 App 效果 
的 重要 指标 ,也 可 作为 用 户 选择 App 的 重要 标准 。 
种 移动 应 用 程序 的 开发 利用 都 是 要 为 用 户 提供 服务 ， 
任何 App 要 增强 用 户 体验 都 应 从 提高 用 户 参 与 度 和 满 
意 度 人手 ,通过 合理 化 的 界面 设计 ` 各 种 实用 功能 的 设 
定 完善 的 反馈 机 制 和 有 效 的 推广 ,增加 用 户 的 互动 参 
与 程度 ,使 其 收获 满意 的 体验 效果 ,进而 增强 用 户 对 于 
App 的 满意 度 。 由 于 现在 人 们 越 来 越 习 惯 于 交互 式 信 
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息 传递 方式 ,所 以 App 应 更 注重 社交 功能 的 完善 ,比如 
各 种 社区 .圈子 等 便于 用 户 间 的 交流 和 信息 分 享 ,使 其 
获得 愉悦 的 互动 体验 。 在 这 个 大 数据 时 代 背 景 下 ,App 
运营 商 应 充分 对 相关 的 点 击 率 `. 下 载 率 、 分 享 数 、 使 用 
频次 等 进行 数据 分 析 , 有 助 于 精准 地 应 对 用 户 个 性 化 
需求 ,提高 用 户 活跃 度 和 用 户 粘性 。 
4.4.3 整体 评价 结果 分 析 “对 于 上 述 选择 的 8 个 英 
语 学 习 App 样本 ,所 获得 分 值 最 高 的 是 听力 口语 类 
App - 英语 流利 说 (4. 430 0) ,可 以 看 出 用 户 逐 渐 关 注 
英语 口语 水 平 的 提高 。 词 典 工具 类 英语 App 中 获得 分 
数 最 高 的 是 百 词 斩 (4. 411 0) 。 综 合 对 比分 析 词典 工 
具 类 英语 App 和 听力 口语 类 英语 App 评分 均值 ,词典 
工具 类 英语 App 的 平均 得 分 为 4. 169 7 分 , 略 高 于 听 
入 村 语 类 英语 App (平均 分 4. 1530 5) 。 从 得 分 结果 可 
以 区 出 ,词典 工具 类 英语 App 较 受 用 户 青睐。 

一 从 上 述评 价 也 可 以 看 出 目前 App 发 展 普遍 存在 的 


网 双 资 源 和 人 机 交互 两 个 方面 加 以 完善 ,进而 提高 用 
保证 App 的 核心 竞争 力 。 最 重要 的 就 是 
要 嫩 供 独特 性 内 容 和 个 性 化 的 功能 设置 ,只 有 拥有 独 
特 的 内 容 和 功能 定位 及 对 资源 的 深度 整合 才能 让 App 
获得 更 大 的 发 展 空间 。App 虽然 类 型 繁多 ,但 很 多 功 
能 狂 设 计 理念 是 相通 的 。 不 同类 型 的 App 应 借鉴 其 他 
Ap 的 优势 ,并 结合 本 领域 的 特色 ,在 内 容 和 功能 设计 
上 锭 现 专业 性 ,在 平台 化 的 基础 上 完全 实现 功能 一 体 
化 6 开发 符合 大 众 需 求 又 具有 鲜明 特点 的 App。 同 时 ， 
要 树立 以 用 户 为 中 心 的 服务 理念 ,更 好 地 为 用 户 提供 
服务 。 


5 ”研究 结论 和 局 限 性 


笔者 在 分 析 网 站 评价 .国内 外 机 构 和 学 者 的 研究 
基础 上 ,设计 了 移动 互联 网 环境 下 英语 学 习 App 评价 
体系 ,提出 了 “内 容 资 源 、 人 机 交互 和 用 户 体 验 ”3 项 一 
级 指标 和 “准确 性 、 可 靠 性 、 全 面 性 ,相关 性 、 时 效 性 、 新 
颖 性 、. 易 用 性 .界面 友好 性 ,适应 性 .可 获取 性 、 保 障 性 、 
参与 性 和 满意 度 ”13 项 二 级 指标 。 借 助 层次 分 析 法 ， 
确定 了 各 指标 的 权重 ,并 进行 了 一 致 性 检验 ,为 App 评 
价 莫 定 了 一 定 的 理论 基础 。 在 应 用 层面 ,以 8 个 具有 
代表 性 的 英语 学 习 App 作为 研究 对 象 进行 实证 分 析 ， 
对 最 终 的 评分 结果 进行 分 析 评 价 。 数 据 结果 显示 词典 
工具 类 英语 学 习 App 更 受用 户 欢迎 ,但 是 听力 口语 类 


英语 学 习 App 内 容 更 为 丰富 、 更 具 特 色 。 当 今 社会 随 
着 全 球 化 不 断 发 展 ,英语 这 门 对 外 交流 工具 愈加 重要 ， 
英语 学 习 也 越 来 越 受 到 重视 。 笔 者 所 构建 的 移动 英语 
学 习 App 评价 指标 可 以 指导 英语 学 习 App 的 开发 建 
设 ,使 用 户 更 好 地 利用 其 进行 英语 学 习 。 本 研究 也 证 
明了 该 评价 指标 具有 实际 可 操作 性 ,对 其 他 App 应 用 
效果 评价 和 开发 .应 用 也 具有 一 定 的 借鉴 意义 。 

随 着 移动 App 井喷 式 发 展 , 人 们 对 于 移动 App 的 
需求 也 越 来 越 高 ,App 的 发 展 将 面临 着 越 来 越 严峻 的 
形势 。 对 于 移动 App 的 开发 商 和 运营 商 而 言 ,App 开 
发 商 需要 从 人 机 交互 的 角度 考虑 新 开发 App 的 界面 设 
计 、 系 统 功能 ,使 App 的 登录 及 使 用 界面 更 加 清晰 和 美 
观 , 能 够 适应 不 同 的 网 络 条 件 , 易 于 获取 和 使 用 。 系 统 
设计 遵循 精简 原则 ,使 其 占用 更 少 的 运行 内 存 以 避免 
使 用 过 程 中 出 现 的 卡 顿 现象 ,提升 安全 保障 机 制 ,通过 
提升 技术 水 平 来 提高 其 应 用 效果 ;App 运营 商 需要 从 
户 体验 的 角度 考虑 在 营销 策略 等 方面 对 现 有 App 的 
改进 策略 ,控制 资源 收费 .广告 植 人 等 现象 ,加 大 力度 
推广 高 质量 的 App, 增 加 用 户 的 参与 度 且 提 高 用 户 的 
满意 度 。 对 于 用 户 而 言 ,App 数量 庞大 而 且 质 量 参差 
不 齐 , 如 何 选 择 适 合 的 App 成 了 一 个 难题 。 移 动 App 
评价 则 能 够 直观 地 表现 用 户 对 App 的 需求 和 期 望 , 同 
时 揭示 目前 App 存在 的 不 足 , 为 用 户 选择 App 提供 了 
一 定 的 评价 标准 。 用 户 需要 从 内 容 资源 角度 考虑 资源 
的 准确 性 .丰富 度 ,资源 库 的 完备 度 以 及 搜索 的 便利 性 
等 ,同时 要 结合 用 户 与 系统 交互 过 程 中 的 舒适 度 及 相 
关 用 户 的 反馈 进行 综合 选择 。 移 动 App 评价 有 助 于 进 
一 步 提高 移动 App 的 质量 和 服务 能 力 , 最 大 程度 迎合 
大 众 需求 ,也 让 用 户 能 够 获得 具有 满意 的 应 用 效果 的 
App。 由 此 可 见 ,移动 App 评价 具有 极 大 的 重要 性 和 
突出 的 实用 价值 。 本 研究 亦 有 一 定 的 局 限 性 , 仅 选 择 
了 8 个 具有 代表 性 的 英语 学 习 类 App 进行 评价 ,研究 
对 象 存在 特殊 性 ,参与 测评 的 人 员 数 量 相 对 较 少 ,在 后 
续 研 究 中 ,将 拓展 人 研究 对 象 和 范围 , 细 化 App 应 用 效果 
影响 因素 的 分 析 。 
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Abstract: [Purpose/significance | This paper explores the way to evaluate application effect of mobile App under 


the new media environment, and constructs mobile App evaluation system. | Method/process | This paper constructed 


App evaluation index system for mobile English learning from three dimensions of “ content resources, human machine in- 
pp y 8 8 ， 


teraction and user experience” , and used the methods of AHP and bisection to determine index weight. Then, it selected 


eight representative English learning Apps to make demonstrational analysis. [ Result/ conclusion | The mobile App evalu- 


ation index system has a certain application value, which can effectively evaluate the App. Through the analysis of App e- 


valuation ，we provide some suggestions for the development and construction of App based on content technology and user 


experience. 
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